03 ReflecTouch: 角膜反射像を利用したスマートフォンの把持姿勢推定
https://scrapbox.io/files/6392b3d036ef2e001ea80c64.png
https://www.youtube.com/watch?v=f2-Cyu8WeKc
要旨：
ユーザがスマートフォンをどのように把持しているかを検出することで，持ち方に応じて操作ボタンの位置を自動的に切り替えるなど，ユーザインターフェースを最適化することができる．顔の正面方向でスマートフォンを持つ際，画面の反射像が角膜に映るが，画面上の指を置いている部分は影となって欠ける．このことを利用してフロントカメラで撮影された顔写真内の角膜反射像を機械学習で分類することで把持姿勢推定を行う手法を提案する． 採録時コメント：
スマートフォンのフロントカメラで撮影された顔写真を使用し、ユーザの角膜に反射したスマートフォンの画面の反射像を機械学習で分類することで、把持姿勢を推定する手法を提案している。総じて新規性があり、応用範囲も広く考えられる手法であると考えられる。現状の手法のままでは利用環境が制限されることが考えられるため、更なる工夫が期待される。 参加者メモ・コメント：
今のカメラの精度が怖い…くらもといたる.icon
眼鏡でも対応できるんでしょうか？（眼鏡民並感）
眼鏡だと精度がかなり下がりますね..一応、眼鏡とコンタクトでも認識精度を出しています 加藤邦拓.icon
↑論文に精度情報がありました．ありがとうございます！くらもといたる.icon
すぱっと精度が向上するなんかいい方法があるといいんですけどね．．眼鏡のレンズに移る像を（取れない）
ちなみに、今日このあとのデモセッションで簡略版の実験システムを体験できますので、眼鏡の方もコンタクトの方も裸眼の方も試しに来てください！加藤邦拓.icon←+1.iconくらもといたる.icon
角膜反射像用に作ったモデルでは結構厳しいです。メガネだとレンズの反射をとるモデルを作ればできるかもです (メガネ使用時のサンプル) 手前側の大きい白い領域がレンズの反射。池松香.icon
https://scrapbox.io/files/639962c362e83c001d955d95.png
↓のMSの研究じゃないですが，レンズに映る像と併用するのが賢いんですかね…
コンタクトレンズの有無で角膜に写る映像に影響でたりするのかな？
これ用の反射率の高いコンタクトつくっても良さそうShioMiyafuji.icon
炎天下＋ダークモードでも動く？（OLEDとLCDでも違いそう）
Microsoftの研究でサングラス反射使ったのありましたね！FutureWorkで目でやりたいって言ってた気がするShioMiyafuji.icon
ちゃんと関連研究に入ってますね👍ShioMiyafuji.icon
そのうち、角膜に反射したキッチンのフライパンの中身の温度がわかるとか言い出さないか...（？） narumi.icon
昔のSIGGRAPHで、めっちゃいいカメラでポテチの袋の振動を見ると、遠くからそのポテチの周囲の音が聞こえるという研究があったなあ narumi.icon
バカでかいスピードカメラを窓の外に配置してた記憶（別の研究かも）rtakada.icon
それですね narumi.icon
漏れてる電波でパスワードがばれるとか，スマートスピーカのコマンドがバレるとかそのたぐいですね…怖い．．くらもといたる.icon
これですかねyutosuzuki.icon
この研究も「次」がなにかというのがすごく気になりますね。できること結構ありそう
例えばスマホの反射の時間的な変化を使うとか？（なにに？）
これ査読でも言われてそうだけど、普通にタッチセンサで姿勢推定することはできないんですか？ narumi.icon
静電容量の生データを処理した方が精度がいいとかないかな？
この方法ならではの姿勢推定があると説得力がありそうだけど、多分あるような気がする
最近Face IDがめちゃくちゃ暗い部屋でも動作するけど、可視光じゃないほうがいいとかある？ narumi.icon
ユーザスタディ
n=13で両利きが2人いるデータすごい
どうでもいいけど、論文ビデオでその論文のロゴとか使うのめっちゃ強気だなあと思う narumi.icon
リジェクトを恐れぬ勇気
部屋の明るさとか，目の色とかで変わりそうな気がする
結果で書かれてましたな
スマートフォンをのぞく時、スマートフォンもまたこちらをのぞいているのだHiromi Nakamura.icon
ヒッyuiseki.icon
怖い…akiyamayo.icon
はじ
学術用語で、日常ではあまり使ったことがないYudai Nishiyama.icon
把は中国語で使う
ロボット界隈でよくみるShioMiyafuji.icon
把持姿勢推定の先行研究
スピーカー
マイク
センサー
どれも推定できる種類に限界がある
今回はカメラ
これを常に使っていくというのは考えにくいですがパーソナルデータの収集でしばらく使ってそこから学習して常に使える加速度センサだけで推定できるようにするなど発展があったら面白いですね𥱋瀨洋平.icon
6種類の把持姿勢を推定する
追加のセンサーは不要
カメラの解像度の影響はある
最近のスマホでしたら、多少解像度が違ってもなんとなく目で見てわかるくらいには反射像ができますね。みなさんぜひ自分のスマホで自撮りして試してみてくださいw 加藤邦拓.icon
iPhone11, iPhone11 Pro
MediaPipe, OpenCV
カメラ画像→顔→目→角膜反射像
ロバスト性どうなんだろう。画面輝度が高くないと認識できないとか、屋内屋外での差などが気になりましたHiromi Nakamura.icon
たしかに、ダークモードだと角膜反射像が認識しにくくなるかも？yuiseki.icon
環境の影響はそれなりにありますね..太陽光や、PCなどのモニタの画面の前でやるとその光が反射したりもします。今回の実験では屋内のみで行っています 加藤邦拓.icon
画面の一部を犠牲にするけど、右上と後どこかの小さい領域を点滅させて。。。とかして特定パターンを決めておいたら、より認識しやすいとか在ったりしたら面白いなとおもいましたHiromi Nakamura.icon
枠に沿ってぐるっと一周する光点を表示するとか？くらもといたる.icon
ですです！自撮り映えにも使えて一石二鳥な感じで・・・！Hiromi Nakamura.icon
なるほど！yuiseki.icon
Convolutional Neural Network
畳み込みニューラルネットワーク
本日二度目の登場ですYudai Nishiyama.icon
撮影の際は画面を真っ白にフラッシュさせる
これがいまいちイメージしにくいのですが、画面を白くすることをフラッシュと呼んでいて、いわゆるカメラのフラッシュとは違うのでしょうか？それとも発光する？
q.icon画面を真っ白ではなく模様や点滅パターンにしたらどうか？yuiseki.icon
部屋の照明も写り込まないようにコントロール
実環境での安定性はよくないということでしょうか？(yoshitaka)
実用上でも，何秒かに1回か測定する瞬間だけフラッシュするとかだと…きついかな…？くらもといたる.icon
それだとフラッシュに敏感な人が使えなかったりして、、、(yoshitaka) ←ありそうですよね．．
クラウドソーシングで環境を制御の条件を緩和して実験した内容も発表しています 池松香.icon
精度
瞳の色
光の反射のしやすさ
スマホを持つ位置
周囲の環境
全ユーザー学習
1ユーザー72枚
6分
より少ない枚数で高い精度を出したい
72枚→24枚
79%の精度
デモ動画
両手持ちから片手持ちに切り替わったことを検知して、ボタンの位置やキーボードレイアウトを変える
ずっと同じ持ち方をしていたら持ち方を変えることを促す
角膜反射像の解像度が上がったら別の問題が発生しそうな気もするなあ。ミッションインポッシブル的な。：ソノヤマ
スマホの縦・横画面の変換をONにしていると、ベットで横向いているときに縦画面の状態でTwitterをスワイプしていると横画面になるのがたまにいらいらいしますが、Youtubeは横画面になってくれるとうれしいので、ユーザの姿勢もついでに推定して、いい感じに画面変換をサポートしてくれると嬉しいです。ryotakahashi0725.icon
制約・今後の課題
メガネ・コンタクト
識別制度は低下
特にメガネ
カメラに逆メガネかけないと（？）
瞳の色
明るい目の色
ニュートラルな表現 +1 Yudai Nishiyama.icon
カメラの解像度には依存するけどフロントカメラの位置は端末によって変わらないので機種依存性が低いみたいな説明があった気がしますが、実際にどのぐらいの種類の端末で試されてのでしょうか？
実験では iPhoneだけを使っていますが、加藤、池松が持っている大量のスマホ(20台以上)で試してはいますね 加藤邦拓.icon
フロントカメラの位置が異なっても問題なかったということですか？
Xiaomiの一部端末とか、画面の下部にカメラが有るスマホとかだと、手でレンズを隠してしまって使えない場合はあります。加藤邦拓.icon
光が強すぎたり暗い環境だと識別が困難
そりゃそうだYudai Nishiyama.icon
赤外線で同じことできないのかな
斜視の人でもうまくいったりするんですかね…？
そもそもどれくらいの精度が必要になると思っていますか？（中山）
質疑応答
インカメラで可視光以外を使えないか
インカメラはレーザーみたいなので奥行きとかを取っているらしい
画像じゃないので今回は使えない
個人データを蓄積・活用できるとよさそう
どれくらいの頻度でチカチカしてる？
今は10秒に一回
角度の変化などイベントを検知する方法も検討している
画面ロック解除時や、アプリの切替時、ジャイロセンサの値に大きな変化があったときに画像を取得することを検討しています池松香.icon
背景が白光以外の時とメガネ・コンタクトのときうまく検知できないのは同じ原因では
だとするとCNN以外のモデルを利用すれば向上するのでは？
次
セッション2: コンテンツ作成・理解